Bertahun-tahun sebelum Bridge Street dinamakan, ia adalah tempat pertama di Rumah Kerajaan di Sydney dan merupakan tempat kediaman pertama Gabenor New South Wales, Kapten Arthur Phillip. Setelah mendirikan tapak penempatan, sebuah rumah pemerintah "sementara" yang besar terletak di sudut tempat yang sekarang Bridge Street dan Phillip Street. Ia dibina di bawah arahan James Bloodsworth, seorang pembangun tahanan yang bertanggungjawab untuk pembinaan sebahagian besar bangunan koloni antara tahun 1788 dan 1800.

Bangunan ini, bangunan 'kekal' pertama di Sydney, disiapkan pada tahun 1789 menggunakan batu bata Inggeris, batu asli dan sebilangan bata sandstock yang dibakar dari wilayah Sydney. Setelah selesai awal, rumah itu mempunyai dua tingkat, mengandungi enam bilik dan menjadi pusat koloni selama 56 tahun. Lapan gabenor berturut-turut mengadu keadaan hidup di dalamnya, masing-masing membuat peningkatan dengan menambahkan peluasan mereka sendiri. Pada 4 Jun 1789, Gabenor Phillip dan tetamunya menyambut ulang tahun Raja George III. Pada tahun 1845 seluruh kompleks dirobohkan untuk membenarkan akses dan memperluas jalan ke Macquarie Street. Asas rumah itu didedahkan oleh ahli arkeologi pada tahun 1983.[4] Laman web ini, di sudut Jalan Phillip, kini dihuni oleh Museum of Sydney.[5]

Pada bulan Mac 1899, pekerja yang memasang terowong telegraf menemui piring tembaga yang tersangkut di antara dua batu. Kemudian didapati bahawa itu adalah batu asas Rumah Pemerintah pertama yang dibentangkan pada 15 Mei 1788. Plat ini kini dipamerkan di Museum Sydney.[6]